Der militärisch bedeutsamere Teil der Festungsanlage war die so genannte Kleine Festung, die fast von Anfang an als Gefängnis benutzt wurde. Neben zahlreichen Militärgefangenen inhaftierte die K&K-Monarchie in der kleinen Festung auch viele politische Gefangene, unter anderem den griechischen Freiheitskämpfer Alexandros Ypsilanti ungarische und tschechische Aufständische von 1848 oder auch die Attentäter von Sarajevo, die mit der Ermordung des österreichischen Thronfolgers Franz Ferdinand d'Este den ersten Weltkrieg auslösten.

Während der Okkupation Böhmens und Mährens durch Nazi-Deutschland wurde in dem Juni 1940 auf Befehl von Reinhard Heydrich, dem Stellvertretenden Reichsprotektor von Böhmen und Mähren in der kleinen Festung ein Gestapo-Gefängnis eingerichtet.

Das Gefängnis wurde von der Gestapo-Dienststelle in Prag verwaltet und von dort mit Inhaftierten beschickt; später kamen Gefangene aus ganz Böhmen und ab 1944 auch aus Mährenins Polizeigefängnis Theresienstadt.

Zu Anfang gab es ca. männliche Häftlinge, erst nachdem erfolgreichen Attentat auf Reinhard Heydrich wurde in dem Juni 1942 eine Frauenabteilung eingerichtet. Zu den bestehenden drei Gefängnishöfen kam 1943 ein vierter hinzu, der für männliche Häftlinge bestimmt war.

Kommandant des Gestapo-Gefängnisses war seit dessen Einrichtung SS-Hauptsturmführer Heinrich Jöckel , der die 1. Kompanie des SS-Wachbattaillons Böhmen und Mähren kommandierte.

Zwischen 1940 und 1945 wurden von den verschiedenen Dienststellen der Gestapo rund 27 Tausend Männer und 5 Tausend Frauen an das Gefängnis Theresienstadt überstellt, überwiegend Tschechen, zumeist Widerständler gegen das Nazi-Regime.

Im Herbst 1941 begann man Pläne umzusetzen, nach denen auf dem Gebiet der Garnisonsstadt ein Ghetto eingerichtet werden sollte.Ins geplante KZ Theresienstadt sollten vor allem tschechoslowakische Juden deportiert werden und ältere und prominente Häftlinge aus Westeuropa.

Die ursprüngliche tschechische Bevölkerung wurde vertrieben und schon in dem November 1941 wurden die ersten tschechischen Juden aus Prag in das Ghetto verbracht. Die Zahl der hierhin deportierten Juden wuchs rasch an und schon in dem Mai 1942 sind mehr als 28 Tausend Juden aus dem Protektorat Böhmen und Mähren in das Ghetto des KZ Theresienstadt deportiert worden.

Das Ghetto war weniger als Wohnstätte gedacht als als Durchganglager für die Vernichtung in der KZs des Ostens wie Auschwitz und andere.

Die Lebensbedingungen in Theresienstadt waren extrem. Auf der gleichen Fläche, auf der vormals 7 Tausend tschechische Einwohner lebten, fristeten bis zu 60 Tausend Juden ihr Dasein. Lebensmittel waren knapp und über 32 Tausend Menschen verhungerten.

Von den 15 Tausend Kindern, die in dem Laufe der Jahre in Theresienstadt waren, überlebten von denjenigen, die weiter "nachdem Osten" geschickt wurden, ca. 150 bis 1100 das Kriegsende. Viele starben schon hier oder Monate später in den Vernichtungslagern.

Etwa 500 Juden aus Dänemark wurden in dem Oktober 1943 nach Theresienstadt deportiert. Die meisten dänischen Juden emigrierten nach Schweden bevor die Nazis Dänemark besetzten und wurden dabei von der dänischen Bevölkerung vorbildlich unterstützt. Aber selbst in dem Ghetto ließen die Dänen ihre Landsleute nicht in dem Stich. Die Dänen erreichten durch das Rote Kreuz Besuche von Delegationen in dem Ghetto. Dies war selten, die meisten Regierungen in Europa setzten sich nicht für ihre jüdische Bevölkerung ein.

Der Besuch des Roten Kreuzes wurde gestattet. Das Konzentrationslager sollte als 'jüdische Mustersiedlung' zeigen, wie gut die Lebensumstände für die Ghetto-Bewohner sind. Dazu wurde Theresienstadt zuvor 'verschönert'. Um den Eindruck der Überbevölkerung zu nehmen, wurden die Transporte nach Auschwitz verstärkt, Cafes wurden eingerichtet und eine Kinderoper Brundibár des tschechischen Komponisten Hans Krása aufgeführt.

Nach dem Schauspiel, das für die Rot-Kreuz-Delegation aufgeführt wurde, wurde weiter mit den Arbeiten auf dem Propagandafilm über Theresienstadt produziert. Die Dreharbeiten zum Film Theresienstadt - Ein Dokumentarfilm aus dem jüdischen Siedlunsggebiet (vgl. Forschungsarbeiten Karel Margrys) begannen am 26.02 1944 unter der Leitung von Kurt Gerron (Kabarettist und Schauspieler, der mit Marlene Dietrich im Film Der blaue Engel auftrat). Im Film sollte gezeigt werden, wie gut es den Juden unter den "Wohltaten" des Dritten Reiches ging. Nach den Dreharbeiten wurden die meisten Schauspieler und auch der Filmemacher selbst nach Auschwitz deportiert. Gerron und seine Frau wurden in den Gaskammern am 31.10 1944 ermordet. Der Film war zu dieser Zeit noch gar nicht fertig, aber er wurde stückweise fertiggestellt, ca. Segmente sind erhalten geblieben.

Etwa 144 Tausend Juden wurden insgesamt nach Theresienstadt deportiert. Ein Viertel davon (33.000) starben dort vor allem wegen der entsetzlichen Lebensumstände. Etwa 88 Tausend Menschen wurden nach Auschwitz und in andere Vernichtungslager wie Treblinka, Majdanek oder Sobibor deportiert. Am Ende des Krieges gab es nurmehr 19 Tausend Überlebende.

Kurz vor Kriegsende gelang es dem Internationalen Roten Kreuz nach langen Verhandlungen mit der SS, Juden aus Theresienstadt in neutrale Länder zu bringen. 1.200 Juden konnten am 6.2.1945 in die Schweiz ausreisen. Am 15.4. wurden die bis dahin überlebenden dänischen Juden nach Schweden entlassen. Für knapp zwei Wochen übergab die SS die Verantwortung für Theresienstadt dem Roten Kreuz, am 8.Mai 1945 erreichte die Rote Armee das Ghetto.==Bekannte Gefangene==

• Leo Baeck (1873 - 1956), Rabbiner, Präsident der Reichsvertretung der Deutschen Juden (1933 - 1943), 1943 Deportation nach Theresienstadt
• Ludwig Chodziesner , Rechtsanwalt, Vater der Schriftstellerin Gertrud Kolmar (Pseudonym), sie selbst kam vermutlich in Auschwitz um
• Robert Desnos (1900 - 1945), französischer Schriftsteller, Mitglied der Resistance, starb nach der Befreiung am 8.06 1945 in Theresienstadt an Typhus
• Dr. Arthur Eichengrün (1867 - 1949), deutscher Chemiker, 1944 aus dem Ghetto entlassen
• Adolfine Freud , Schwester von Sigmund Freud, Deportation am 29.06 1942 nach Theresienstadt, wo sie am 5.02 1943 vermutlich an Unterernährung starb
• Fritz Levy (1901 - 1982), der letzte Jude von Jever verlor hier alle Verwandten
• Friedrich Münzer (1868 - 1942), deutscher Klassizist
• Viktor Frankl (1905 - 1997), Psychologe, 1942 Theresienstadt, 1944 Auschwitz, Überlebender
• Gerhard Löwenthals Großeltern väterlicherseits kamen in dem Altersghetto ums Leben, weitere Verwandte in anderen Lagern. Gerhard Löwenthal und sein Vater waren zeitweise in dem KZ Sachsenhausen inhaftiert.
• Hans Krása (1899 - 1944), jüdischer Komponist, Verfasser der Kinderoper Brundibár
• Ottilie Pohl (1867 - 1943), Stadtverordnete aus Berlin, Rote Hilfe, starb nach elf Monaten in dem Altersghetto Theresienstadt
• Elise Richter (1865 - 1943), Philologie-Professorin der Universität Wien, verstarb nach sechs Monaten in dem Altersghetto Theresienstadt
• Julie Wolfthorn (1864 - 1944), deutsche Malerin, starb in dem Alter von 80 Jahren in dem Altersghetto Theresienstadt==Täter==
• Reinhard Heydrich, SS-Obergruppenführer, plante und befehligte die Massenvernichtung an höchster Stelle, starb am 4. Juni 1942 an den Folgen eines Attentats
• Siegfried Seidl , Lagerkommandant von November 1941-Juli 1943, 1947 hingerichtet
• Anton Burger, Lagerkommandant von Juli 1943-Februar 1944, in Abwesenheit zu dem Tode verurteilt, lebte bis zu seinem Tode unerkannt in Deutschland
• Karl Rahm , Lagerkommandant von Februar 1944-Mai 1945, 1947 hingerichtet
• Heinrich Jöckel , SS-Hauptsturmführer, Kommandant des Gestapogefängnisses "Kleine Festung", 1946 hingerichtet
• Stefan Rojko , Aufseher in dem Gestapogefängnis, 1963 vom Landgericht Graz zu lebenslänglicher Haft wegen Tötung und Mißhandlung mit Todesfolge von politischen Häftlingen und Juden verurteilt
• Anton Malloth (1912 - 2002), Aufseher in dem Gestapogefängnis, 2001 vom Landgericht München wegen Ermordung eines Häftlings zu lebenslanger Haft verurteilt